“语言训练”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果388125个，建议您升级VIP下载更多相关专利

[发明专利]预训练语言模型的训练方法、语言处理方法和装置-CN202211408010.X在审
发明人：柴业坤;王硕寰;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2022-11-10 - 公布日： 2023-04-04 - 主分类号： G06F8/30 文献下载
摘要：本公开提供了预训练语言模型的训练方法、语言处理方法和装置，涉及人工智能技术领域。实现方案为：获取预训练数据集；其中，预训练数据集包括：至少一种语言的单语言数据和至少一组两种语言的平行语言数据，平行语言数据包括第一语言数据和第二语言数据，第一语言数据与第二语言数据存在对应关系，语言包括自然语言和编程语言，根据单语言数据，对预训练语言模型进行训练，以及根据第一语言数据和第二语言数据，对预训练语言模型进行训练，生成训练好的预训练语言模型。由此，所生成的训练好的预训练语言模型能够处理跨自然语言和/或编程语言的理解与生成任务，并且还能够处理自然语言和/或编程语言的理解与生成任务。
训练语言模型方法处理装置

[发明专利]翻译模型训练方法、装置、设备及存储介质-CN202011454443.X在审
发明人：叶忠义;张为泰;刘俊华 -专利权人：科大讯飞股份有限公司
申请日： 2020-12-10 - 公布日： 2021-03-26 - 主分类号： G06F40/49 文献下载
摘要：本申请公开了一种翻译模型训练方法、装置、设备及存储介质，本申请针对源语言和/或目标语言，获取其各自的近似语言下的训练语料，以及训练语料的平行语料，其中，若训练语料的语言与源语言近似，该平行语料是目标语言，若训练语料的语言与目标语言近似，该平行语料是源语言，针对训练语料中至少一文本单元，利用该文本单元在与训练语料近似的源语言或目标语言下的平行文本单元进行替换，得到混合语言训练语料，由混合语言训练语料与平行语料组成平行语料对，以平行语料对加入训练样本集，训练源语言至目标语言的翻译模型。本申请利用了源语言和/或目标语言的近似语言资源，丰富了模型训练数据，提升了翻译模型的训练效果。
翻译模型训练方法装置设备存储介质

[发明专利]多语言语义表示模型的训练方法、装置、设备及存储介质-CN202010700605.7在审
发明人：欧阳轩;王硕寰;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2020-07-20 - 公布日： 2020-11-27 - 主分类号： G06F40/30 文献下载
摘要：本申请公开了一种多语言语义表示模型的训练方法、装置、设备及存储介质，涉及基于人工智能的自然语言处理领域。具体实现方案为：统计训练语料集包括的多种语言中的各种语言的训练语料的比例；基于多种语言中各种语言的训练语料的比例，配置各种语言的训练语料的选择概率，以提升比例低于预设比例阈值的语言的训练语料的选择概率大于对应的比例；基于各种语言的训练语料的选择概率，从训练语料集中选择对应的语言的训练语料，对多语言语义表示模型进行训练。本申请的技术，能够平衡训练时语料稀疏的语言的训练语料和语料丰富的语言的训练语料的数量，更好地学习语料稀疏语言的训练语料，以实现对语料稀疏的语言的训练语料进行准确有效地建模。
语言语义表示模型训练方法装置设备存储介质

[发明专利]语言模型训练方法、系统、移动终端及存储介质-CN202010011026.1有效
发明人：张广学;肖龙源;蔡振华;李稀敏;刘晓葳 -专利权人：厦门快商通科技股份有限公司
申请日： 2020-01-06 - 公布日： 2022-12-06 - 主分类号： G10L15/06 文献下载
摘要：本发明提供了一种语言模型训练方法、系统、移动终端及存储介质，该方法包括：获取训练文本和训练词汇，对训练文本进行分类，以得到多个语言模块，并根据训练词汇构建对应语言模块的语言词典；根据语言词典对语言模块中的模块语言模型进行模型训练，对训练文本进行训练，以得到文本语言模型；获取待识别语音进行音素识别，得到音素串，将音素串与模块语言模型进行匹配，得到音素匹配结果；通过文本语言模型对音素匹配结果进行概率计算，将最大的概率值对应的句子进行输出本发明通过进行训练文本的分类和语言词典的构建设计，提高了语言模型的训练效率和准确性，通过基于对模块语言模型和训练文本的训练设计，使得可以有效的进行语言模型的拓展。
语言模型训练方法系统移动终端存储介质

[发明专利]语言模型的训练方法、装置及电子设备-CN202210874729.6在审
发明人：刘炜新;陈徐屹;刘佳祥;冯仕堃;黄世维 -专利权人：北京百度网讯科技有限公司
申请日： 2022-07-21 - 公布日： 2022-10-18 - 主分类号： G06F16/35 文献下载
摘要：本公开提供了一种语言模型的训练方法、装置及电子设备，涉及人工智能领域，尤其涉及自然语言处理领域。具体实现方案为：基于第一无标签训练样本对教师语言模型进行预训练，获得预训练后的教师语言模型；基于第一有标签的多任务数据对预训练后的教师语言模型进行多任务训练，获得目标教师语言模型；基于第二无标签训练样本，利用目标教师语言模型对学生语言模型进行知识蒸馏，获得训练后的学生语言模型；基于有标签的下游任务数据对训练后的学生语言模型进行训练，获得目标语言模型。本方案使训练后的学生语言模型有较强的通用性和泛化性，也可以以提升目标语言模型的训练效率。
语言模型训练方法装置电子设备

[发明专利]预训练语言模型的训练方法、装置、设备和介质-CN202211722595.2在审
发明人：丁思宇;赵晏彬;王硕寰;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2022-12-30 - 公布日： 2023-04-18 - 主分类号： G06F18/214 文献下载
摘要：本公开提供了一种预训练语言模型的训练方法、装置、设备和介质，涉及人工智能领域，具体涉及自然语言处理、深度学习技术。该方法包括：获取面向第一语言的第一预训练语言模型；以及利用第一语言的训练任务和不同于第一语言的第二语言的训练任务共同对第一预训练语言模型进行训练，以得到面向第二语言的第二预训练语言模型。
训练语言模型方法装置设备介质

[发明专利]跨语言的任务训练-CN201910447514.4在审
发明人：梁耀波;段楠;公明;寿林钧;姜大昕;周明 -专利权人：微软技术许可有限责任公司
申请日： 2019-05-27 - 公布日： 2020-12-15 - 主分类号： G06F16/33 文献下载
摘要：在本公开的实施例中，提出了一种跨语言的任务训练方法。在获得一种语言的训练句子之后，对训练句子中的某个词语进行掩码，然后获得与被掩码的词语相对应的另一种语言的对应词语。接下来，使用一种语言的掩码句子和另一种语言的对应词语来预训练跨语言模型。经过预训练的跨语言模型具备多语言的理解和处理能力，其可以根据特定任务再进行进一步训练。根据本公开的实施例，在一种语言存在大量训练语料而另一种语言存在较少甚至没有训练语料的情况下，可以通过跨语言训练方式来预训练跨语言模型，使得跨语言模型能够适用于另一种语言，由此实现针对各种语言的模型训练。
语言任务训练

[发明专利]语言模型训练方法、装置、设备及存储介质-CN202110031416.X在审
发明人：撖朝润;张海松;徐坤;史树明;傅洛伊 -专利权人：腾讯科技（深圳）有限公司;上海交通大学
申请日： 2021-01-11 - 公布日： 2021-10-19 - 主分类号： G06F40/30 文献下载
摘要：本申请实施例提供了一种语言模型训练方法、装置、设备及存储介质，涉及机器学习技术领域。所述方法包括：基于全量预训练语料对初始的学生语言模型进行全量预训练，得到全量预训练后的学生语言模型；基于增量预训练语料对全量预训练后的学生语言模型进行增量预训练，得到增量预训练后的学生语言模型；其中，增量预训练语料是在全量预训练语料的基础上新增的预训练语料；采用教师语言模型对增量预训练后的学生语言模型进行知识蒸馏处理，得到蒸馏后的学生语言模型；采用目标任务的第二训练样本集，对蒸馏后的学生语言模型进行参数调整处理，得到完成训练的学生语言模型。采用本申请实施例提供的技术方案，能够节省语言模型训练的时间。
语言模型训练方法装置设备存储介质

[发明专利]多语言模型的训练方法、装置、计算机设备及存储介质-CN202310415588.6在审
发明人：冯超峰;魏韬;马骏;王少军 -专利权人：平安科技（深圳）有限公司
申请日： 2023-04-12 - 公布日： 2023-07-18 - 主分类号： G10L15/06 文献下载
摘要：本申请实施例属于人工智能领域，涉及一种多语言模型的训练方法，包括：获取预设的单语言预训练模型；基于所述单语言预训练模型构建第一初始多语言模型；基于所述单语言预训练模型内的第一编码器的第一参数，对所述第一初始多语言模型进行调整处理，得到第二初始多语言模型；获取预先采集的训练数据；最后使用所述训练数据对所述第二初始多语言模型进行训练，得到目标多语言模型。本申请还提供一种多语言模型的训练装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，目标多语言模型可存储于区块链中。本申请基于单语言预训练模型的使用有效地降低了目标多语言模型的训练成本，提高了目标多语言模型的训练生成效率。
语言模型训练方法装置计算机设备存储介质

[发明专利]预训练语言模型的训练方法、装置、计算机设备和介质-CN202111434714.X在审
发明人：刘家豪;罗福莉;黄松芳 -专利权人：阿里巴巴达摩院（杭州）科技有限公司
申请日： 2021-11-29 - 公布日： 2022-04-26 - 主分类号： G06F40/30 文献下载
摘要：本公开提供了一种预训练语言模型的训练方法、装置、计算机设备和介质。该方法包括：获得使用不同语言表达相同语义的训练数据组合；将训练数据组合输入具备不同语言理解能力的预训练语言模型，以使得预训练语言模型对训练数据组合进行预训练后得到训练数据组合对应的输出数据组合，并根据输出数据组合计算训练数据组合的损失值；利用损失值更新预训练语言模型的模型参数，以提高输出数据组合的相似度。本公开提高了低资源语言场景下自然语言处理模型处理下游任务的性能和多语言场景下预训练语言模型所能适用的下游任务的种类范围。
训练语言模型方法装置计算机设备介质

[发明专利]缓解语言对差异冲突的多语言机器翻译模型的训练方法-CN202011167339.2有效
发明人：苏劲松;周楚伦;刘鑫;王鸿吉 -专利权人：厦门大学
申请日： 2020-10-27 - 公布日： 2022-07-19 - 主分类号： G06F40/58 文献下载
摘要：本发明提出了一种缓解语言对差异冲突的多语言机器翻译模型的训练方法，该方法包括：获取训练语料，其中，训练语料包括多个语言对；建立多语言机器翻译模型，并根据训练语料的每个语言对对多语言机器翻译模型进行训练；在训练过程中，计算训练语料中所有语言对对应的导数，并对任意两个语言对对应的导数进行冲突调整，以获取调整后的所有语言对对应的导数；根据调整后的所有语言对对应的导数对多语言机器翻译模型参数进行更新，以得到训练好的多语言机器翻译模型；由此，通过对任意两个语言对对应的导数进行冲突调整，从而减轻了不同语言对的训练实例对模型参数更新的导数冲突问题，从而提高了多语言机器翻译模型在多个语言对上的整体效果。
缓解语言差异冲突机器翻译模型训练方法

[发明专利]智能翻译模型的预训练方法、装置和存储介质-CN202010327224.9有效
发明人：杨振;黄申 -专利权人：腾讯科技（深圳）有限公司
申请日： 2020-04-23 - 公布日： 2023-09-22 - 主分类号： G06F40/58 文献下载
摘要：本发明提供了智能翻译模型的预训练方法、装置和存储介质。该方法包括：获取包括源语言词语的预训练源语言语句和包括目标语言词语的预训练目标语言语句；基于源语言词语与目标语言词语之间的相似度，从目标语言词语中筛选源语言词语所对应的候选翻译词，每个源语言词语对应预设数量的候选翻译词；根据与预训练源语言语句中源语言词语对应的候选翻译词对预训练源语言语句中的至少一个源语言词语进行替换，得到预训练源语言语句对应的语言混合编码语句；基于语言混合编码语句对初始翻译模型进行预训练，得到预训练翻译模型该方法利用源语言和目标语言单语语料中隐含的对齐信息提高翻译模型的预训练准确率，从而大幅提高翻译任务的性能。
智能翻译模型训练方法装置存储介质

[发明专利]语言模型的训练方法、装置和计算机设备-CN202211128020.8在审
发明人：王伟戌;王强强;商迎新 -专利权人：北京云思智学科技有限公司
申请日： 2022-09-16 - 公布日： 2023-04-04 - 主分类号： G06F18/214 文献下载
摘要：本发明属于语言模型的训练领域，提供一种语言模型的训练方法，包括：通过翻译模型对第一语种文本数据进行翻译，得到第二语种文本数据，根据第一语种文本数据和第二语种文本数据，确定用于训练所述语言模型的双语种训练数据集，这样可以增加训练语言模型的样本数量，解决了相关技术中因缺乏训练语料导致的训练效果较差的问题，然后通过用于训练语言模型的双语种训练数据集，对语言模型进行训练，得到优化后的语言模型，以此方式可以优化语言模型的训练过程，提高该优化后的语言模型的识别能力，进而提高该优化后的语言模型输出结果的准确度。
语言模型训练方法装置计算机设备

[发明专利]多语言模型的训练方法、装置、电子设备和可读存储介质-CN202011387501.1有效
发明人：欧阳轩;王硕寰;庞超;孙宇;田浩;吴华;王海峰 -专利权人：北京百度网讯科技有限公司
申请日： 2020-12-01 - 公布日： 2023-08-11 - 主分类号： G06F40/30 文献下载
摘要：本申请公开了一种多语言模型的训练方法、装置、电子设备和可读存储介质，涉及深度学习、自然语言处理技术领域。本申请在训练多语言模时的技术方案为：获取训练语料，训练语料中包含多条双语语料和多条单语语料；使用多条双语语料对多语言模型进行第一训练任务的训练；使用多条单语语料对多语言模型进行第二训练任务的训练；在确定第一训练任务与第二训练任务的损失函数收敛的情况下，完成多语言模型的训练。本申请能够使得多语言模型实现不同语言之间的语义交互，提升了多语言模型在学习多语言语料的语义表示时的准确性。
语言模型训练方法装置电子设备可读存储介质

[发明专利]应用于角色扮演推理类游戏的大语言模型的训练方法-CN202310884926.0有效
发明人：汪骞;暴宇健;王芳 -专利权人：深圳须弥云图空间科技有限公司
申请日： 2023-07-19 - 公布日： 2023-10-03 - 主分类号： A63F13/822 文献下载
摘要：本申请涉及虚拟游戏技术领域，提供了一种应用于角色扮演推理类游戏的大语言模型的训练方法。该方法包括：获取目标游戏的训练数据，并生成进行上下文字级别训练的第一自回归语言任务和进行上下文句级别训练的第二自回归语言任务，其中，目标游戏为角色扮演推理类；依据第一自回归语言任务，利用训练数据对大语言模型进行上下文字级别训练；依据第二自回归语言任务，利用训练数据对上下文字级别训练后的大语言模型进行上下文句级别训练；利用上下文字级别训练后的大语言模型在目标游戏为各个用户提供服务，收集各个用户对大语言模型提供服务的反馈，依据各个用户对大语言模型提供服务的反馈对大语言模型进行强化学习训练
应用于角色扮演推理游戏语言模型训练方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条